How AI Coders Discuss, Disagree, and Reach Consensus: Challenges and Opportunities for LLM-Based Qualitative Coding
AI编码者如何讨论、分歧并达成共识：基于LLM的定性编码挑战与机遇
🧭 多智能体LLM协作定性编码机制
Stanford University
多智能体LLM定性编码中，独立编码、辩论与协调流程的有效性受编码簿长度、数据相似性和代理分歧影响
📌 工作参考价值（4 点）
- 多智能体辩论机制可迁移至电商场景中的商品属性标注、用户评论意图分类、广告标签体系构建等定性判断任务：采用“独立编码→辩论→协调分歧”流程，且不必强制要求达成一致，未解决的激烈辩论往往意味着更高质量的分析结果。
- 设计Agent协作时需显式建模上下文状态：论文发现LLM缺乏对讨论上下文的适应性响应，因此在多轮Agent交互中应引入记忆模块或动态调节策略，避免固定轮次和静态提示词。
- 编码簿长度（相当于Prompt/标签体系复杂度）显著影响准确率，建议在业务落地时先对标签粒度做消融实验，找到准确率与标注成本之间的平衡点。
- 论文开源了AI讨论数据集和评估框架，可直接用于评测自家多Agent系统在标注、审核、分类等任务上的可靠性，省去从头搭建评估环境的工作。